我们知道互联网是由大量计算机和网络构成的复杂系统，我们可以将其形象的比喻成一张蜘蛛网。网络的节点是计算机，计算机中储存着大量的数据。爬虫程序就是通过网络去采集指定计算机中数据的工具。一般来说，我们采集的数据大多是网页上的数据，也就是我们平时可以在浏览器软件上浏览互联网上的web，因此爬虫程序的道理也很简单，就是模仿浏览器去获取指定站点的网页，通过机器来看我们需要采集数据的网页，并把我们需要的数据的保存起来。

    互联网在传输数据的时候需要遵循一定的规范格式，其中我们在使用浏览器浏览网页的时候就需要遵循HTTP协议,中文名称为超文本传输协议。HTTP协议主要用来传输超文本（网页等）数据。类似的协议还有ftp（主要用来传输文件）等     我们需要采集指定计算机中的数据，那么我们怎么才能找到这台计算机呢？ HTTP协议使用URL来定位计算机和计算机中的数据资源。例如https://www.blog.csdn.net/hfutzhouyonghang就是一个URL，在浏览器上输入这串字符，就可以找到我的博客了。https表示协议的名称，https是http协议的加密版本。www.blog.csdn.net表示服务器的域名，通过转换可以变成ip地址，可以通过域名在茫茫互联网上定位到csdn的服务器。最后/hfutzhouyonghang该服务器web站点下的资源。

    我们在浏览器上输入一个URL，按下回车之后很快就看到了页面的内容，这其中包含了很复杂的过程，我们需要了解的是，我们的浏览器向URL指向的服务器发出了http请求request，服务器处理请求之后，返回响应response。浏览器根据response中的源代码等内容进行解析，渲染之后我们就可以在浏览器上看到丰富多彩的内容了。其模型如下：

    打开浏览器的检查元素，选择一个请求：

我们可有看到reques主要t由一下部分组成：

    服务器处理好用户提交的请求后，向用户返回响应，响应主要由一下三个部分组成：

    在浏览一些网站，比如购物的时候，我们常常需要先登陆，登陆过后我们可以连续访问网站，并且可以将我们需要的购买的东西加入购物车。但是有时候我们中途过了一段时间没有操作就需要重新登陆。还有某些网站，打开网页之后就已经登陆了。这些功能看起来来很神奇，其实都是Session和Cookie在发挥作用。

    Http有个特点，即无状态。什么叫无状态呢。Http无状态是指Http协议对事务处理没有记忆能力，当我们向服务器发送请求后，服务器处理请求之后返回结果。这是一个独立的过程，再次向服务器发出请求，服务器做出响应又是一次独立的过程。不会有一条网线一直连着你的电脑和服务器来完成你的所有请求。因此，服务器并不知道收到的两次请求是否来自同一个用户。这种效果并不是我们想要的。为了保持前后的状态，我们需要将前面所有请求中的数据再重传一次，这是非常麻烦和浪费资源的。为了解决这个问题，用于保持HTTP连接状态的Session和Cookies就出现了。

    当客户端浏览器第一次请求服务器时，服务器会再response中设置一个Set-Cookies的字段，用来标记用户的身份，客户端浏览器会把cookies保存起来，cookies中保存的有Session的id信息。当客户端浏览器再次请求该网站时，会把Cookies放在请求头中一起提交给服务器，服务器检查该Cookies即可找到对应的会话是什么，再通过判断会话来辨认用户的状态。     当我们成功登陆网站时，网站会告诉客户端应该设置哪些Cookies信息，以保持登陆状态。如果客户端浏览器传给服务器的cookies无效或者会话过期，可能就会收到错误的响应或者跳转到登陆页面重新登陆。

    我们以登陆豆瓣网为例，来看一下如何处理cookies数据，我们使用了Resquests第三方库。 1. 首先我们构造一个header，并将header带入请求中。

我们看到已经成功登陆豆瓣网，并使用Cookie和Session保持登录状态，这样我们就可以更好的采集数据啦！